در میان مردم زوزن به ارگ یا قلعه‏ی زوزن معروف است به صورت تپه نسبتاً عظیمی است که در فاصله‏ی سالهای 600 تا 610 (هـ–ق) همزمان با مسجد ملک زوزن بعنوان کاخ اداری ملک ساخته شده و بانی آن ملک قوام الدین زوزنی ، ملک زوزن و حاکم کرمان بود طبقه تحتانی آن خزانه ملک و طبقات بالا ، محل انجام کارهای اداری و سیاسی ملک بوده است . حمد الله مستوفی از آن بعنوان کاخ عالی یاد کرده است . گویند سلطان جلال الدین خوارزمشاه در 617 (هـ-ق) که مغول در تعقیب وی بود . به زوزن آمد خواست تا در قلعه پناه جوید ولی محافظ قلعه که عین الملک داماد معید الملک ملک زوزن بود او را از این کار منع کرد مؤلف مجالس النفائس از قاضی زاده درباره قلعه‏ی ملک زوزن چنین گفته است .

        برخی گویند از کاخ به مسجد زوزن راه بوده ، که ملک از آن استفاده می‏کرده است ، ولی اکنون از بین رفته . این بنای عظیم که در زلزله 737 (هـ-ق) ویران شده است ،  دلایل زیادی مبنی بر عظمت و استحکام و اهمیت  سیاسی آن وجود دارد ، که امروزه به صورت تپه در ضلع شرقی مسجد وجود دارد .